وب نامرئی یا اینترنت ژرف چیست؟

یکی از جالبترین اصطلاحاتی که اخیرا یاد گرفتم همین وب نامرئی یا invisible web بود که البته اسم دیگرش deep وب هست. صفحات اینترنتی ای که ما به طور عادی می بینیم، وب سطحی نام دارند. افراد قبل از هر مرجع دیگری از وب برای جستجوی تحقیقاتشان استفاده می کنند. اما موتورهای جستجو لزوما بهترین نتایج را نمایش نمی دهند. آنها اطلاعات مخفی یا عمیق موجود در اینترنت را نمایش نمی دهند.
* وب ژرف چیست؟
اصطلاح وب نامرئی یا وب “ژرف” به مخزن عظیمی از اطلاعات اطلاق می شود که موتورهای جستجو به آنها دسترسی مستقیم ندارند به طور مثال پایگاه داده کتابخانه های دانشگاهها، سایتهایی که برای مشاهده آنها نیاز به رمز عبور داریم و سایتهایی که به هر دلیل، موتورهای جستجو از فهرست بندی آنها، منع شده اند. بر خلاف صفحات قابل مشاهده (یعنی همین وبی که می توانید توسط موتورهای جستجو ببینید) اطلاعاتی در پایگاههای داده موجود است که اسپایدرها و رباتهای خزنده بدانها دسترسی ندارند.
بعنوان نمونه، اغلب مردم گوگل را بعنوان دارنده بزرگترین پایگاه داده جستجو تصور می کنند که حدودا ? بیلیون صفحه را فهرست بندی کرده است. این رقم بزرگ است ولی اگر وب مخفی را در نظر بگیریم باید این رقم را بایستی در ??? ضرب کنیم. بعلاوه گوگل فقط صفحات قابل جستجو را که حدودا ??? بیلیون است ذخیره کرده است ولی از رقم دقیق صفحات غیر قابل جستجو خبری نیست.